LEASH：面向计算机使用智能体的不确定性感知弱到强升级与监督
🧭 Agent 弱到强升级与不确定性监督 ★ 深度解读
Simular · University of Wisconsin–Madison
用弱模型隐藏状态的不确定性同时驱动升级决策与黑盒强模型监督，无训练实现高效成本-精度平衡
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 工作流中，可用廉价的本地小模型作为默认执行器，利用其隐藏状态计算不确定性（如马氏距离到历史成功/失败样本）决定是否升级到昂贵的大模型，无需训练额外监控模型，节省推理成本。
- 对于黑盒 API 大模型（如 GPT/Claude）的调用，可复用白盒弱模型作为“影子观察者”，定期对强模型轨迹打分，高不确定性时触发反思或回滚干预，保留对黑盒输出的控制。
- 表示库方法：记录弱模型在任务查询和动作生成时的最后层隐藏状态，按成功/失败标注，用相对马氏距离作为不确定性分数，计算开销低（无额外前向传播），适合长程多步任务。
- 门槛校准：通过参考集的经验分位数设置升级阈值以匹配预算，将升级率作为 budget 代理，可实现可调节的成本-精度权衡，对在线服务很有用。
GUI-Primitives：诊断视觉语言模型 GUI 空间推理失败的基准
🧭 GUI Agent 空间推理评估基准
University of Southern California · USC Information Sciences Institute · Qatar Computing Research Institute (QCRI)
构建对比指令对基准，解耦候选定位与关系理解，揭示 VLM 在 GUI 元素定位的主要瓶颈是候选定位而非空间关系推理
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 落地 GUI 自动化时，可借鉴对比指令对方法：固定截图和锚点，只改变关系表达式，构造最小差异样本，低成本排查模型是“找错元素”还是“看不懂关系”。
- 该基准显示模型输出坐标大量落在候选框外（60–92%），工程实现中应避免让 VLM 直接回归任意坐标，可先接一个候选区域检测器（如 OCR/图标检测），再用 VLM 做区域内选择或关系判断，或对输出坐标做约束/后处理。
- 论文的 oracle 诊断：把两个候选框标记在图上，选择准确率提升 35–57 个百分点，说明“给定候选集后模型关系理解尚可”。业务上可用于两阶段 pipeline：召回候选元素（如商品卡片、按钮）后，再让 VLM 根据指令选择目标，降低定位错误。
- 评估 Agent 时，建议同时报告 strict point-in-box 与 conditional accuracy，区分候选定位失败与关系理解失败；这比单一 Overall Acc 更能指导模型迭代方向。
OpenComputer：以可执行验证器为中心的计算机使用智能体任务合成框架
🧭 计算机使用智能体 · 可验证任务合成与评估 ★ 深度解读
Yale NLP Lab · University of Pennsylvania · University of North Carolina at Chapel Hill
构建以应用状态程序化验证器为核心的桌面任务合成框架，覆盖33款软件共1000个任务，揭示前沿GUI智能体端到端完成仍存显著差距
📌 工作参考价值（4 点）
- 用可执行状态检查替代LLM评判：在电商 Agent 或生成式推荐评估中，对商品属性、金额、文件状态等可结构化查询的指标，应优先构建硬编码验证器，避免 LLM-as-judge 在细粒度状态上的误判，本工作中硬编码验证器与人类判断任务级对齐度达 94.1%，远超 LLM 评判的 79.2%。
- 自我进化验证层思路：利用强 Agent 跑简单校准任务，对比程序化验证器与 LLM 参考判定的分歧，自动修验证器端错误并记录根因（如数据库 schema 迁移），可用于在线场景中持续改善业务规则检查器或 RL 奖励信号的可靠性。
- 任务合成的可验证前置设计：在设计推荐或对话评测集时，应先将成功标准编码为可执行检查项（如查询数据库、比对文件），再反向生成任务描述与初始状态，有效避免生成无法自动判定的示例，提升数据可用性。
- 跨接口能力评估启示：GUI 与 CLI Agent 在共享任务子集上的对比显示，视觉交互仍提供有效 grounding，但命令行执行速度更快（141s vs 288s），对电商后台操作或流程自动化场景，可针对性地混合使用两类接口，并统一用程序化验证器衡量最终应用状态。